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Abstract of DE 19848194 (A1) 

The arrangement compresses the digitized video data in real time and stores the compressed data in a 
digital random access memory. A video and audio data stream is received and stored, and can be read 
from memory simultaneously with a freely selected time offset The compressed data are analysed and 
video sequences are classified. The data are reproduced using the classification results so that certain 
classes of information, such as advertisements, can be filtered out or replaced. 
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Prufungsantrag gem. § 44 PatG ist gestellt 

(54) Vorrichtung zur Aufnahme und selektiven Wiedergabe von Videodaten 

(57) Vorrichtung zur Aufnahme und gleichzeitigen, durch in- 
haltliche Klassifikation selektierten Wiedergabe von Vi- 
deomaterial, zum Beispiel zur Ausblendung von Werbe- 
unterbrechungen bei live betrachteten Fernsehsendun- 
gen. 
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Beschreibung 

Die Erfindung betrifft ein Gerat zur Aufnahme und selek- 
tiven Wiedergabe von Videodaten bestehend aus Bild und 
Tonsignalen zum Beispiel als Zusatzgerat zu einem Fern- 5 
sehempfanger. 

Beim Betrachten von Fernsehsendungen wird das Pro- 
gramm haufig durch Einblendung von Werbesendungen un- 
terbrochen. Um das Betrachten dieser Werbeunterbrechun- 
gen zu vermeiden hat der Zuschauer z. B. die Moglichkeit 10 
wahrend einer Werbesendung Lautstarke und Helligkeit zu 
reduzieren bzw. den Fernseher auszuschalten oder auf ein 
anderes aktuelles oder gespeichertes Programm umzuschal- 
ten. Diese Aktionen konnen manuell oder auch selbsttatig an 
Hand einer automatischen Erkennung der Werbesendung 15 
mittels verschiedener Methoden wie z. B. Erkennung spezi- 
fischen Einzelbildern oder komplexe Analyse der Signatu- 
ren z. B. mittels Fuzzylogik (US-Pat. Nr. 5 812 732), neuro- 
naler Netze (US -Pat. Nr. 5 343 251) oder einem anderen 
dem Stand der Signal- und Bildverarbeitung entsprechen- 20 
dem Verfahren erfolgen. 

Hierbei entsteht jedoch in jedem Fall der Nachteil, daB 
auf Grund der unbekannten und auch unterschiedlichen 
Lange der Werbeunterbrechungen der Zuschauer jederzeit 
mit dem Ende der Werbeunterbrechung rechnen muB und 25 
somit, wenn er die unterbrochene Sendung ohne Liicke be- 
trachten mochte, die Unterbrechungszeit kaum sinnvoll nut- 
zen kann. Dies fiihrt zusammen mit der ub lichen, bewuBten 
Plazierung der Werbeunterbrechungen an besonders span- 
nenden oder interessanten Stellen eines Programms dazu, 30 
daB der Zuschauer in der Regel die Werbung betrachtet um 
auf das Ende der Unterbrechung zu warten. 

Eine automatische Steuerung der Ausblendung von Wer- 
beunterbrechungen, andert hieran nichts und bewirkt nur 
den geringen Komfortgewinn, daB der Zuschauer nicht mehr 35 
selbst aktiv umschalten muB. 

Weiterhin wird eine automatische Erkennung von Wer- 
bung im Allgemeinen zur Erkennung eine gewisse, mit den 
Anforderungen an die Erkennungssicherheit zunehmende 
Zeit benotigen. 40 

Dies fiihrt dazu, daB die entsprechende Ausblendung und 
Wiedereinblendung zu spat erfolgt und der Nutzer das ge- 
wunschte Programm nicht liickenlos verfolgen kann. Wei- 
terhin erfordert eine ausreichend zuverlassige automatische 
Erkennung von Werbung nach dem Stand der Technik eine 45 
sehr aufwendige, fortl auf ende Analyse einer sehr hohen Da- 
tenmenge (US Pat. Nr. 5 812 732, Nr. 5 343 251), sofern 
nicht lediglich einfache, von Sendeanstalten leicht elimi- 
nierbare Marker wie zum Beispiel Schwarzblenden (z. B. in 
US-Pat Nr. 5 748 263, US Pat. Nr. 5 692 093) detektiert wer- 50 
den. 

Eine andere Methode den Werbebotschaften zu entgehen 
besteht darin das interessierende Programm mittels eines Vi- 
deorecorders auf ein Magnetband aufzuzeichnen und dabei 
entweder bei Aufzeichnung oder bei Wiedergabe die Wer- 55 
bung durch Weglassen oder schnelles Vorspulen auszublen- 
den. Die Steuerung des Videorecorders kann hierbei wie- 
derum manuell oder, wie in zahlreichen Vorschlagen be- 
schrieben (z. B. US-Pat. Nr. 5 696 866, 5 692 093, 5 708 
477, 5 748 263), auch automatisch erfolgen. Der Komfort- 60 
gewinn der automatischen Steuerung ist angesichts der ein- 
fachen manuellen Losung durch schnelles Vorspulen wah- 
rend der Werbeeinblendung gering und wird auf Grund des 
bereits oben erwahnten hohen technischen Aufwandes teuer 
erkauft. 65 

Der wesentliche Nachteil ist in jedem Fall, daB eine Sen- 
dung erst nach erfolgter Aufzeichnung betrachtet werden 
kann. Dem weit iiberwiegenden Nutzerwunsch nach einer 



direkten, live Betrachtung des gesendeten Programms kann 
nicht entsprochen werden. 

Der Erfindung liegt die Aufgabe zugrunde eine Vorrich- 
tung zu finden, welche es dem Nutzer erlaubt Sendungen 
live oder annahernd live mit der Ausstrahlung zu betrachten 
und hierbei eine automatische Ausblendung der Werbeun- 
terbrechungen ermoglicht ohne daB der Nutzer jedoch in 
Bereitschaft auf das jeweilige Ende der Werbeeinblendung 
warten muB; weiterhin soli die Vorrichtung mit Einsatz 
preiswerter Hardware wie zum Beispiel Signalprozessoren 
oder u-Prozessoren die Verwendung komplexer, den gesam- 
ten Bildinhalt uber eine langere Zeit einbeziehender Klassi- 
fizierungsmethoden ermoglichen. 

Dies wird erfindungsgemaB dadurch gelost, daB das emp- 
fangene Video- und Audiosignal digitalisiert wird, die digi- 
talisierten Daten in Realzeit komprimiert werden und in ei- 
nem digitalen Speichermedium mit wahlfreiem Zugriff wie 
zum Beispiel Halbleiterspeicher, magnetischer oder opti- 
scher Platte gespeichert werden, wobei gleichzeitig ein Vi- 
deo- und Audiodatenstrom aufgenommen und abgespei- 
chert und mit frei wahlbarem zeitlichem Versatz aus dem 
Speichermedium ausgelesen und ausgegeben wird. Weiter- 
hin werden in einer Bild- und Signalverarbeitung fortlaufen 
die aufgenommenen Daten hinsichtlich geeigneter Merk- 
male analysiert die Videosequenzen und an Hand der erfaB- 
ten Merkmale inhaltlich klassifiziert. Hierbei werden zur 
Analyse der Videobilder die komprimierten Bilddaten ver- 
wendet werden und die Klassifizierung wird jeweils riick- 
wirkend nach Detektion einer fur eine zuverlassige Klassifi- 
kation ausreichenden Merkmalsanzahl und -verteilung vor- 
genommen. 

Hierbei wird durch die Digitalisierung und Speicherung 
mittels eines Speichers mit wahlfreiem Zugriff erreicht, daB 
der Aufnahme und Wiedergabezeitpunkt zeitlich entkoppelt 
werden. Das heiBt der Nutzer kann jederzeit wahren einer 
live betrachteten Sendung die Wiedergabe unterbrechen und 
spater an gleicher Stelle wiederaufnehmen. Hinsichtlich der 
Werbeunterbrechungen bedeutet dies, daB er nicht auf das 
Ende einer Unterbrechung warten muB, sondern irgendwann 
nach Ende der Unterbrechung die Betrachtung fortsetzen 
kann. Zur Reduktion der Datenmenge werden preiswerte, in 
Hardware realisierte Videocodecs zum Beispiel nach dem 
MJPEG, MPEG (Motion Picture Expert Group) oder einem 
Wavelet Verfahren eingesetzt. Wesentliches Merkmal dieser 
Kompressions verfahren ist, daB die gesamte Bildinforma- 
tion zunachst auf wesentliche, mit sehr geringen Datenmen- 
gen beschriebene Bildinhalte reduziert werden, welche dann 
entsprechend der zur Verfiigung stehenden Bandbreite mit 
weiteren Daten detailliert werden. Im Falle des Waveletver- 
fahrens wird zum Beispiel der Bildinhalt durch mehrf aches 
TiefpaBfiltern und Unterabtasten auf einen Basisbildinhalt 
von ca. 1 kByte pro Bild reduziert, wobei gleichzeitig zahl- 
reiche Parameter zur Beschreibung des Bildes wie Mittel- 
werte und Varianzen der Grundfarben ermittelt werden. 

Diese Kompressionsverfahren sind im allgemeinen sehr 
aufwendig und erfordern sofern sie als Softwarelosung in 
Echtzeit durchgefuhrt werden sollen sehr leistungsfahige 
und teure Prozessoren; daher wurden von verschiedenen 
Anbietern preiswerte Hardwarelosungen in Form einzelner 
Integrierter Bausteine (IC) entwickelt. 

Die erfindungsgemaBe Verwendung der komprimierten 
Videodaten zur Extraktion von Merkmalen und inhaltlicher 
Klassifikation bietet nun den Vorteil, daB einerseits in diesen 
Daten - entsprechend der Zielsetzung der Kompression - 
noch die wesentlichen Inhalte des Videos enthalten sind, je- 
doch andererseits nur noch eine geringe, auch von preiswer- 
ten Signalprozessoren zu bewaltigende Datenmenge fortlau- 
fend zu analysieren ist. 
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Die Videokompression ist somit erfindungsgemaB ein in- 
tegraler Bestandteil der Merkmalsextraktion und inhaltli- 
chen Klassifizierung indem sie auf sehr preiswerte und effi- 
ziente Weise die erste wesentliche Reduktion der zu untersu- 
chenden Datenmenge bewirkt. 

Die Erfindung wird in der Abb. 1 naher erlautert. Diese 
zeigt den prinzipiellen Aufbau der Vorrichtung. Das am Ein- 
gang anliegende Audio- und Videosignal wird digitalisiert, 
das Videosignal dann mittels eines Kompressionsbausteins 
komprimiert. Die digitalen Audiodaten sowie die kompri- 
mierten Videodaten werden in dem Prozessor klassifiziert 
und in den Speicher mit einer typischen Mindestkapazitat 
von einigen Gigabyte geschrieben. Gleichzeitig werden die 
gemaB der Klassifikation und dem gewiinschten Zeitversatz 
selektierten Daten dem Dekompressionsbaustein und der 
Analog wandlung zur Ausgabe bereitgestellt Die zum Bei- 
spiel in Form einer iib lichen Fernbedienung realisierten Be- 
nutzerschnittstelle dient zur Steuerung des Gerates. 

Dieser prinzipielle Aufbau kann mit verschieden iiblichen 
preiswert erhaltlichen integrierten Bausteinen realisiert wer- 
den. In der besonders vorteilhaft erachteten Variante mit ei- 
ner Bildkompression nach dem Wavelet verfahren gemaB 
Anspruch 2 kann als Videoencoder und -decoder z. B. der 
Baustein ADV601LC eingesetzt werden. 

Patentanspriiche 

1 . Vorrichtung zur Aufnahme und Wiedergabe von Vi- 
deo- und Audioinformationen wobei diese digitalisiert 
werden, die digitalen Videodaten mit geeignetem Ver- 30 
fahren in Realzeit komprimiert werden und in einem 
digitalen Speichermedium mit wahlfreiem Zugriff ge- 
speichert werden, dadurch gekennzeichnet, daB ein 
Video- und Audiodatenstrom aufgenommen und abge- 
speichert wird und dieser gleichzeitig mit frei wahlba- 35 
rem zeitlichem Versatz aus dem Speichermedium aus- 
gelesen und ausgegeben wird, und daB eine Bild- und 
Signal verarbeitung fortlaufen die aufgenommenen Da- 
ten hinsichtlich geeigneter Merkmale analysiert und an 
Hand der erfaBten Merkmale Videosequenzen inhalt- 40 
lich klassifiziert, wobei zur Analyse der Videobilder 
die komprimierten Bilddaten verwendet werden und 
die Klassifizierung jeweils riickwirkend nach Detec- 
tion einer fur eine zuverlassige Klassifikation ausrei- 
chenden Merkmalsanzahl und -verteilung vorgenom- 45 
men wird, und daB die Wiedergabe der gespeicherten 
Daten an Hand der Klassifikationsergebnisse so gesteu- 
ert wird, daB ausgewahlte Klassen von Videoinforma- 
tionen wie z. B. Werbung bei der Wiedergabe durch er- 
satzloses Uberspringen, Darstellung mit reduzierter 50 
Bild- und Tondynamik oder Ersetzen durch anderes Vi- 
deomaterial ausgeblendet werden. 

2. Vorrichtung gemaB Anspruch 1, dadurch gekenn- 
zeichnet, daB zur Videokompression ein Waveletver- 
fahren eingesetzt wird und die Bildauswertung unab- 55 
hangig von der zur Aufzeichnung verwendeten Kom- 
pression an Hand des tiefpaBgefilterten, in einem Wa- 
veletkompressionsverfahren ermittelten Basisbildes 
sowie der bei der Waveletkompression ermittelten 
Kennzahlen erfolgt. 60 
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